大模型的泡沫什么时候破灭？

△点击上方卡片关注我，回复 “实践” ，即可获得 AI Agent、RAG、多模态大模型相关的案例资料

作者 | 沈旸

对于技术泡沫，大家可能最熟悉的就是 Gartner 的技术成熟度曲线图。过去几年确实出现了许多备受关注的技术，例如云计算、大数据、区块链和元宇宙。新技术让人激动，但很多企业在跟进这些技术时往往犹豫不决，担心不下注未来会被淘汰，也担心投入巨大但方向错误。

例如，前几年 Facebook 押注元宇宙，甚至将公司名称改为 Meta，但元宇宙的技术成熟度和市场发展并未达到预期。幸好，Meta 公司在大模型时代及时调整方向，特别是在开源大模型上为社区作出了巨大贡献。那么，这次大模型的技术发展周期是怎样的，会出现短期见顶的情况吗？

Meta 于 7 月 23 日发布了 Llama 3.1 405B 开源人工智能模型，这是 Meta 迄今为止最强大的模型，也是目前全球最强大的开源大模型。在某些方面，超大杯 Llama 3.1 405B 超过了 GPT-4 0125，与 GPT-4o 和 Claude 3.5 互有胜负。例如，它在 NIH/Multi-Needle 基准测试中的得分为 98.1，在 ZeroScrolls/Quality 基准测试中的得分为 95.2，在处理长文本方面表现出色，在 Human-Eval 基准测试中也略占上风。

从最终效果来看，大力仍能出奇迹，Scaling Law 依然有效。在 Llama3.1 的大模型中，70B 和 8B 大小参数的模型也比之前的版本有了非常大的性能提升，这两个规模的开源模型非常适合企业部署。

从 2022 年底 OpenAI 推出大模型后，从一开始的聊天应用，到后来的 RAG，Agent，多模态，视频处理等，AI 的应用落地实践其实是越来越成熟，开源的大模型也被广泛应用在企业的各种业务场景中。

但是由于所有的大模型都几乎用同一套标准的接口，使得大模型很难像传统软件那样打造专属的生态圈，从而建立竞争护城河。用户从一个大模型切换到另外一个大模型，几乎不需要什么成本，每个月都会有更新更好用成本更低的大模型出来。这也使得市场和投资界对大模型的商业价值持疑态度，认为其发展可能类似于几年前的各种技术概念泡沫。

Llama 3.1 405 模型是在一个包含了 16384 块 Nvidia H100 80GB GPU 集群上训练了整整 54 天，其中出现了 417 次意外中断。如果按照每小时每张卡 3 美金的 H100 租赁成本，加上 CPU、内存、磁盘、网络等硬件资源每小时预计 5 美金的成本来算，这次训练就需要 1 亿美金的硬件成本。再加上数据购买、人工训练、维护和调优的费用，一次大模型的训练成本可能超过 2 亿美金。而目前 SpaceX 发射一次星舰火箭的成本也不到一亿美金，这已经是当前商业航天里运力最强的火箭。

目前，人类正以极大的热情投入 AI 领域，受益于 AI 的火热，英伟达的股价在两年内上涨了 10 倍以上，市值超过 3 万亿美元。每个月都有企业宣布推出新的大模型，消耗了几个小目标，不断地刷新榜单。这不禁让大家联想到 20 世纪 60 年代美苏争霸时期的太空竞赛。

1957 年苏联成功发射世界上第一颗人造卫星——斯普尼克一号。1958 年，苏联宇航员尤里·加加林成为第一个进入太空的人，乘坐东方 1 号（Vostok 1）绕地球飞行。这一事件引发了美国的极大震惊和反应，美国总统艾森豪威尔签署了《国家航空航天法》，成立了美国国家航空航天局（NASA），以应对苏联在太空竞赛中的领先地位。

在 1969 年，美国成功实现了载人登月计划。阿波罗 11 号任务中，尼尔·阿姆斯特朗（Neil Armstrong）和巴兹·奥尔德林（Buzz Aldrin）成为首批登上月球的人类。阿波罗计划共进行了 17 次任务，其中 6 次成功登月，最后一次是 1972 年的阿波罗 17 号。阿波罗计划的实际支出略高于预算，大约为 257 亿美元。按现值计算，其花费相当于 2000 亿美元，但它实现了人类历史上的重大突破。太空竞赛的角逐中，除了航天技术以外，还推动了计算机技术、材料科学和通信技术的进步，我们今天非常多的技术都孵化于当年的太空探索。

很多人可能会很好奇，既然登月计划那么成功，人类为什么没有继续转向火星和更远的太空呢？首先，技术上的挑战远超预期。火星距离地球遥远得多，火星到地球的距离约为月亮到地球距离的 586 倍；长达数月甚至数年的航行时间，以及在陌生星球上生活所需的复杂生命支持系统，都给科学家们带来了前所未有的难题。其次，高昂的成本也是一个无法忽视的因素，预计火星任务的预算将至少比阿波罗计划高 10 倍以上。现实是资源有限，必须优先处理地球上的诸多问题，地球上即使是生存条件最恶劣的地方也比月球和火星更宜居。

尽管当时的各国政府和科学家们对太空探索都充满热情，但下一个目标跨度太大、成本太高，让单纯的刷榜行为失去了动力。阿波罗登月这一事件被认为是太空竞赛的巅峰，之后美苏的竞争反而转向了地球轨道空间站和无人深空探测等方向。

目前，大模型的训练可能也会遇到类似的瓶颈，那就是下一个目标的成本可能高不可攀。目前最强的开源大模型已经达到了 4000 亿参数，但仍未实现通用人工智能。假设下一步量变引起质变的规模是十万亿参数，训练更大的模型往往需要更多的参数，其整体训练量和成本的增加远超过参数增长倍数。训练十万亿规模参数的大模型，可能需要几十万张 H100 的显卡的集群这样一次训练的成本可能达到 100 亿美元。从过去的太空竞赛来看，100 亿美元单个项目可能是目前人类社会能承受的极限。毕竟，下一个量级的百万亿参数大模型，其对应训练总成本很可能超过 1 万亿美元，这几乎是无法实现的。

如果 100 亿美金砸下去了，10 万亿规模参数的大模型还是没法实现 AGI，那么基于 Transformer 架构的大模型是不是短期就到头了？不过这个结果很可能会启发人们去探索 Transformer 之外的架构体系，例如量子计算，类脑芯片等。

10 万亿规模参数的大模型，会是 Transformer 架构的登月时刻么？

最后，笔者认为，在一次训练达到 100 亿美金成本之前，大家投入 AI 的热情是不会消退的，要谈泡沫破灭也得等到这个时间点到来之后。

注：本文转载自公众号“信息化与数字化”，作者沈旸。

内容推荐

金融行业凭借相对完善的数据和技术基础，以及丰富的业务场景，成为智能技术的实践场。在智能时代背景下，包括银行、保险、证券等在内的金融机构正在借助 AI 大模型、大数据、云计算等数字化技术不断完善和迭代自身的产品和服务，同时通过向外赋能，加速其它行业数字化，完成数实融合。关注「InfoQ 数字化经纬」，回复「实践案例」领取相关资料。

 活动推荐

8 月 16-17 日，FCon 全球金融科技大会将在上海举办。本届大会由中国信通院铸基计划作为官方合作机构，致力于展示金融数字化在“十四五”期间的关键进展，以及近一年多来金融领域的 AI 大模型落地实践。大会邀请了来自工商银行、交通银行、华夏银行、北京银行、广发银行、中信银行、平安证券、华泰证券、度小满、蚂蚁集团等金融机构及金融科技公司的资深专家，现身说法分享其在金融科技应用实践中的经验与深入洞察。大会火热报名中，详情可联系票务经理 17310043226 咨询。

企业福利

极客时间数字化人才培养认证项目共设 15 个岗位，分为初、中、高三个等级，覆盖数字化及人工智能人才所需的主要技能方向，满足人才技能升级和适应产业发展需求，通过测评后可获得工信部颁发的《工业和信息化人才能力提升证书》，扫码添加小助手，回复「认证」可免费咨询并获得产品手册，一个锦囊、一个助力数字化人才培养的妙策！

福利通道

• 关注「InfoQ数字化经纬」公众号，回复「案例」领取《行知数字中国数字化转型案例集锦》。
• 关注「InfoQ数字化经纬」公众号，回复「进群」加入数字化读者群交流。
• 关注「InfoQ数字化经纬」公众号，回复「抽奖」可以参与本周活动，有机会获得精美礼品。

今日好文推荐数字化转型中，“迷糊”与“清醒”的界限在哪里？
从排产到库存，智能算法在供应链优化中的应用与实践数字化时代的企业架构师团队：“设计院与监理公司”的双重角色大模型时代的工业质检：技术革新与实践探讨数字化浪潮下，软件行业的“鄙视链”警惕银行数字化营销的4大“陷阱”